Elasticsearch Stack概述

• “Search is something that any application should have!” – Shay Banon (Creator of Elasticsearch)

名词介绍

• 什么是 ELK Stack？很简单，指的就是 Elastic Stack。

• ELK: “ELK”是三个开源项目的首字母缩写，这三个项目分别是：Elasticsearch、Logstash 和 Kibana。

• Elasticsearch: Elasticsearch 是一个搜索和分析引擎。

• Logstash: Logstash 是服务器端数据处理管道，能够同时从多个来源采集数据，转换数据，然后将数据发送到诸如 Elasticsearch 等“存储库”中。

• Kibana: Kibana 则可以让用户在 Elasticsearch 中使用图形和图表对数据进行可视化。

• Elastic Stack 就是 ELK Stack，但是更加灵活，可以帮助人们出色完成各项事务。Elastic Stack 是 ELK Stack 的更新换代产品。

Elastic Stack特性

• 使用门槛低, 开发周期短, 上线快

  Hadoop: ############################## 30天

  Elastic Stack: ####### 7天

• 性能好, 查询快, 实时展示结果

  对T+1说不: T+1即当天结果必须等一天才能拿到分析数据

• 扩容方便, 快速支撑增长迅猛的数据

  Elastic Stack能够非常方便进行扩容, 以达到TP/PB级别的规模

Elastic Stack组成

• ELK Stack 组成:

  Elasticsearch

  Logstash

  Kibana

• Elastic Stack 组成:

  Elasticsearch

  Logstash

  Kibana

  Beats

• Elastic Stack 是 ELK Stack 的更新换代产品, 是一个完备的数据分析工具集合.

• 部件主要作用:

  Kibana: 数据探索与可视化分析

  Elasticsearch: 数据存储, 查询与分析

  Beats, Logstash: 数据收集与处理

• Beats, Logstash 作用

  • 数据收集与处理
  • ELT
    • Extract Transform Load
  • 数据源多样
    • 数据文件, 如日志, Excel等
    • 数据库, 如MySQL, Oracle等
    • http服务
    • 网络数据
  • 支持自定义扩展, 无限可能

Elastic Stack 应用

Elastic Stack 是 ELK Stack 的更新换代产品, 是一个完备的数据分析工具集合, 可以应用于:

• 搜索引擎
• 日志分析
• 指标分析